เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เสด็จขึ้นครองราชสมบัตินั้น มีพระชันษาได้ 16 พรรษาเท่านั้น จึงมีสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ (ช่วง บุนนาค) เป็นผู้สำเร็จราชการแทนพระองค์ ระหว่าง พ.ศ. 2411–2416 ครั้นเมื่อทรงบรรลุนิติภาวะแล้ว ได้ทรงรับมอบอำนาจการปกครองแผ่นดินจากสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ และทรงเริ่มพระราชกรณียกิจในการปรับปรุงแก้ไขการบริหารราชการแผ่นดินให้ทันสมัยทันที ได้มีการเปลี่ยนแปลงการบริหารงานการคลัง ซึ่งนำไปสู่การสถาปนากระทรวงการคลังขึ้นในรัชกาลนี้

การตั้งหอรัษฎากรพิพัฒน์ พ.ศ. 2416

พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงพระราชดำริว่า การบริหารการคลังของประเทศประสบปัญหาเกี่ยวกับการจัดเก็บภาษีอากรและการจัดระบบการคลังหลายประการ

ประการแรก การจัดเก็บภาษีอากรไม่มีการจัดระบบให้ถูกต้อง การเงินของประเทศได้ถูกแบ่งไปอยู่ที่เจ้านายและขุนนางผู้มีอำนาจ โดยอำนาจการจัดเก็บภาษีอากรกระจายไปอยู่ตามกรมต่างๆ เช่น กรมพระคลังมหาสมบัติ กรมพระกลาโหม กรมมหาดไทย กรมนา และหน่วยพระคลังสินค้า เป็นต้น แล้วแต่เจ้ากรมผู้บังคับบัญชากรมนั้นๆ จะจัดเก็บตามประสงค์ ไม่เป็นระเบียบแบบแผนอันเดียวกันที่จะพึงปฏิบัติเยี่ยงอารยประเทศ นอกจากนี้ภาษีอากรที่กรมต่างๆ จัดเก็บได้ ซึ่งจะต้องมอบเงินส่วนหนึ่งให้กรมพระคลังมหาสมบัติ ก็ปรากฏว่าให้บ้างไม่ให้บ้าง กรมพระคลังมหาสมบัติเป็นเพียงแต่เจ้าพนักงานรับเงินหลวง ไม่มีอำนาจบังคับหรือเรียกร้องให้กรมต่างๆ ปฏิบัติตามแต่อย่างใดเพราะไม่มีระเบียบบัญญัติกฎหมายวางไว้ให้ทำเช่นนั้นได้ ทำให้เงินผลประโยชน์ของแผ่นดินรั่วไหลไปทางอื่นเสียเป็นอันมาก

ประการที่สอง ระบบเจ้าภาษีนายอากรไม่มีประสิทธิภาพ ตามที่รัฐบาลได้ให้เจ้าภาษีนายอากรรับผูกขาดการเก็บภาษีอากรชนิดต่างๆ และนำเงินส่งรัฐเพื่อเป็นรายได้นำมาทำนุบำรุงประเทศนั้น ปรากฏว่าในระยะแรกเจ้าภาษีนายอากรก็นำเงินส่งราชการเต็มตามจำนวนและตรงเวลา แต่เมื่อนานวันไปเจ้าภาษีนายอากรมักบิดพลิ้วผัดผ่อน ไม่ส่งเงินตามกำหนดและส่งให้ไม่ครบตามจำนวน อีกทั้งยังทำการรีดนาทาเร้นราษฎรให้ได้รับความเดือดร้อน เกิดระบบการยักยอก ฉ้อโกงเงินหลวงของเจ้าหน้าที่และเจ้าภาษีนายอากร จำนวนเงินที่รัฐควรจะได้ก็ไม่ครบตามจำนวนที่พึงได้ เป็นผลกระทบต่อเงินรายจ่ายของแผ่นดิน จนเกือบจะไม่พอใช้ในกิจการต่างๆ

ประการที่สาม การจัดทำบัญชีของกรมพระคลังมหาสมบัติไม่เรียบร้อย นับตั้งแต่รัชสมัยพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมาจนถึงรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว การทำบัญชีรับและจ่ายเงินของกรมพระคลังมหาสมบัติ มิได้มีปรากฏไว้เป็นแบบอย่างและเป็นหลักฐานให้ตรวจสอบได้ จึงไม่ทราบแน่นอนว่าในแต่ละปี รัฐได้รับเงินเท่าไร และจ่ายราชการไปเท่าไร มีกำไรหรือขาดทุน เมื่อพระคลังมหาสมบัติแต่ละคนดับสูญไป บัญชีนั้นก็สูญหายไปหมด ไม่มีการจัดแจงเรียบเรียงบัญชีไว้สำหรับแผ่นดิน เมื่อสิ้นปีก็มิได้งบบัญชีขึ้นทูลเกล้าฯ ถวายให้ทรงทราบเป็นบัญชีข้างที่ไว้สำหรับทรงตรวจดูตัวเงินแผ่นดินว่ามีเงินมากน้อยเพียงใด

นับตั้งแต่ปี พ.ศ. 2411 เป็นต้นมา เงินผลประโยชน์รายได้ของแผ่นดินลดลงไปมาก ในขณะที่การใช้จ่ายในกรมพระคลังมหาสมบัติเพิ่มรายการขึ้นทุกปี จนในที่สุดรายได้ไม่พอจ่ายต้องค้างชำระ รัฐบาลต้องเป็นหนี้สินอยู่เป็นอันมาก ดังปรากฏหลักฐานอยู่ในพระราชหัตถเลขาของรัชกาลที่ 5 ซึ่งทรงมีไปถึงสมเด็จพระมหาสมณเจ้า กรมพระยาวชิรญาณวโรรส ฉบับลงวันที่ 28 ตุลาคม ร.ศ. 122 ความตอนหนึ่งว่า

"…ในเวลาครึ่งปีต่อมา เงินภาษีอากรก็ลดเกือบหมดทุกอย่าง ลดลงไปเป็นลำดับ จนถึงปีมะแม ตรีศก (พ.ศ. 2414) เงินแผ่นดินที่เคยได้อยู่ปีละ 50,000–60,000 ชั่งนั้น เหลือจำนวนอยู่ 40,000 ชั่ง แต่ไม่ได้ตัวเงินกี่มากน้อย แต่เงินเบี้ยหวัดปีละ 11,000 ชั่ง ก็วิ่งตาแตก ได้เงินในคลังมหาสมบัติ ซึ่งเป็นของเจ้าหน้าที่วิ่งมาหาเป็นพื้น นอกนั้นก็ปล่อยค้าง ที่ได้เงินตัวจริงมีประมาณ 20,000 ชั่งเท่านั้น เงินไม่พอจ่ายราชการก็ต้องเป็นหนี้…"

ดังนั้นเมื่อได้เสด็จขึ้นว่าราชการแผ่นดินโดยเด็ดขาด จึงทรงเริ่มทำการปฏิรูปการคลังโดยโปรดเกล้าฯ ให้ ตั้งหอรัษฎากรพิพัฒน์ ขึ้นเมื่อปี พ.ศ. 2416 ในพระบรมมหาราชวัง ให้เป็นที่ทำการของเจ้าพนักงานพระคลังมหาสมบัติ และให้มีพนักงานบัญชีกลางสำหรับรวบรวมบัญชีเงินผลประโยชน์แผ่นดินและตรวจตราการเก็บภาษีอากรซึ่งกระทรวงต่างๆ เป็นเจ้าหน้าที่เก็บนั้น ให้รู้ว่าเป็นจำนวนเงินเท่าใด และเร่งเรียกเงินของแผ่นดินในด้านภาษีอากรให้ส่งเข้าพระคลังมหาสมบัติตามกำหนด พร้อมกันนั้นได้ทรงตราพระราชบัญญัติสำหรับหอรัษฎากรพิพัฒน์ จุลศักราช 1235 หรือ พ.ศ. 2416

จากพระราชบัญญัติสำหรับหอรัษฎากรพิพัฒน์พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้พระราชทานอำนาจแก่สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ามหามาลา กรมพระยาบำราบปรปักษ์ ทรงจัดให้มีเจ้าพนักงานบัญชีกลางรวบรวมพระราชทรัพย์ ซึ่งขึ้นในท้องพระคลังทั้งปวงตั้งสำนักงานอยู่ในหอรัษฎากรพิพัฒน์ในพระบรมมหาราชวัง ให้มีแบบธรรมเนียมที่เจ้าภาษีนายอากรต้องปฏิบัติในการรับประมูลผูกขาดจัดเก็บภาษีอากร ให้มีเจ้าจำนวนภาษีของพระคลังทั้งปวงมาทำงานในสำนักงานเป็นประจำ เพื่อตรวจตราเงินภาษีอากรที่เจ้าภาษีนายอากรนำส่งต่อพระคลังแต่ละแห่ง โดยครบถ้วนตามงวดที่กำหนดให้

การกำหนดหน้าที่ของเจ้าพนักงานหอรัษฎากรพิพัฒน์ และระเบียบข้อบังคับให้เจ้าภาษีนายอากรปฏิบัติโดยเคร่งครัด เป็นการตัดผลประโยชน์ของเจ้าพนักงานทั้งปวง จึงกล่าวได้ว่าพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้ทรงวางรากฐานระเบียบการปฏิบัติการภาษีอากรและการเงินของประเทศไว้เป็นครั้งแรก ทำให้รัฐบาลมีรายได้เพิ่มมากขึ้น

ในปี พ.ศ. 2418 ทรงพระกรุณาโปรดเกล้าฯ ให้แยกกรมท่าซึ่งอยู่ในบังคับบัญชาของกรมพระคลังมาแต่ครั้งสมัยพระบรมไตรโลกนาถออกจากกรมพระคลังมหาสมบัติ โดยให้กรมท่ามีหน้าที่เกี่ยวกับการต่างประเทศ